通过搜狗抓取微信公众号 | 您所在的位置:网站首页 › 公众号 破解软件 › 通过搜狗抓取微信公众号 |
本文是通过关键字爬取文章 分析搜索url https://weixin.sogou.com/weixin?query=华为&type=2&page=3 query 是我们要搜索的关键字 type 表示搜索方式,1 表示搜索公众号,2 表示搜索文章,默认是1 page 页数,不登录的情况下最多获取十页 解析搜索页面,获取文章URL 这一部分比较麻烦 我们直接解析页面拿到的文章链接来请求并不能获取文章页面,而是被发现了你是一只爬虫 这时候我们就要寄出我们的抓包小杀器,看看他这个请求到底是怎么玩儿的 抓包我们发现这个url和我们在页面看的极为相似,而且这个请求返回的url拼接完成后就是我们要的文章页面 对比这个url和页面上的url发现其实他只是在最后面多了两个参数 这个时候我们耐心寻找会发现,在页面的最下面,对这个a标签绑定了一个点击事件,点击一次这个url后执行一段js代码 这段代码的逻辑并不复杂,我用python模拟了这段代码的逻辑 url = 'https://weixin.sogou.com' + r b = random.randint(0, 99) a = url.index('url=') a = url[a + 30 + b:a + 31 + b:] url += '&k=' + str(b) + '&h=' + a其中r就是我们从页面解析的那段请求失败的url,这段代码也只是把页面上的url加工了一下,获取一个随机数,然后通过随机数获取url的对应位置的字母,在以参数k和参数h的方式拼接在原有url后面,就组成了新的url 我们请求新url,要带header和cookie才行,就能获取文章的url了
若有清楚或者不正确的地方欢迎留言指出
|
CopyRight 2018-2019 实验室设备网 版权所有 |